Le changement fondamental dans le paradigme bayésien réside dans le statut ontologique du paramètre inconnu $\theta$. Contrairement à la statistique fréquentiste, qui considère $\theta$ comme une constante fixe mais inconnue, l'approche bayésienne traite $\theta$ comme un variable aléatoire. Cela nous permet de quantifier l'incertitude à travers une mesure de probabilité a priori $\Pi$.
Construction du modèle bayésien
Un modèle bayésien complet est défini par la paire $(\{f_{\theta} : \theta \in \Omega\}, \Pi)$. L'inférence bayésienne n'est pas simplement « utiliser le théorème de Bayes », mais l'acte délibéré d'ajouter une distribution de probabilité a priori au modèle d'échantillonnage comme ingrédient essentiel pour l'inférence.
L'état global de notre connaissance est capturé par la distribution conjointe $\pi(\theta) f_{\theta}(s)$. Cette fonction relie les données observées $s$ et le paramètre non observé $\theta$ dans un cadre probabiliste cohérent unique.
Énoncés de probabilité directs
Dans ce paradigme, $\theta$ est régi par une densité de probabilité $\pi(\theta)$. Cela nous permet de formuler des énoncés de probabilité directs sur le paramètre, tels que $P(\theta \in A)$. Cela est logiquement impossible dans un cadre fréquentiste, où $\theta$ n'a pas de distribution, et donc de tels énoncés sont indéfinis.
Analogie du monde réel : Diagnostic médical
Dans le diagnostic d'une maladie rare, la « constante » est le fait qu'un patient soit atteint. Dans le paradigme bayésien, nous traitons le statut de la maladie $(\theta)$ comme une variable aléatoire. Si la prévalence est de 0,1 % (la probabilité a priori), et que le test (le modèle $f_{\theta}$) donne un résultat positif, nous ne nous contentons pas de regarder la précision du test ; nous examinons la probabilité conjointe d'avoir la maladie ET de donner un test positif afin de déterminer la nouvelle probabilité d'incidence.